Рецензия на книгу 
«НАУКОМЕТРИЯ ПОД МИКРОСКОПОМ: 


ОТ АНАЛИЗА ЦИТИРУЕМОСТИ 
ДО АУДИТА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ»* 


Проблема использования наукометрических показателей для оценки 
результатов деятельности научных работников и организаций является 
одной из самых популярных тем, обсуждаемых в научном сообществе. 
Никогда еще интерес к количественному анализу публикационной актив- 
ности и цитируемости не был столь высок. Эти показатели используют- 
ся, чтобы выявить наиболее значимые и перспективные области науки, 
проследить историю развития того или иного направления. По причине 
отсутствия большого выбора количественных индикаторов, характери- 
зующих результаты научной деятельности, показатели публикационной 
активности и цитируемости внедряются в практику мониторинга науч- 
ных организаций и вузов. Рассчитанные на их базе показатели эффектив- 
ности используют при принятии решений о распределении финансовых 
средств между коллективами и учреждениями, о реорганизации неэф- 
фективных организаций. Чем меньше доступность бюджетных средств 
и чем выше доступность информации для оценивания, тем популярнее 
становится этот подход. Постепенно библиометрия превращается в ти- 
повой инструмент количественного анализа науки. 

Многие российские эксперты призывают ограничить эту практику, 
высказывая критические аргументы в отношении применения библио- 
метрических индикаторов к оценке научного труда. «Наука преврати- 
лась в гонку ... за числом публикаций и ростом библиометрических 
индексов»'. Авторы, разделяющие этот тезис, подчеркивают основные 
негативные следствия: необходимость «штамповать» статьи отвлекает 
наиболее талантливых ученых от глубоких исследований, менее талант- 
ливых — вынуждает применять разнообразные способы «накрутки». 
В результате объем публикаций растет такими высокими темпами, что 
ни тем, ни другим не хватает времени, чтобы читать материалы коллег 
по своей специальности. 

На примере И. В. Курчатова и С. П. Королева, которые по «понятным 
причинам не публиковались ни в отечественных, ни тем более в между- 
народных научных журналах», А. В. Юревич и И. П. Цапенко показы- 
вают, что «нельзя сводить вклад в мировую науку к вкладу в мировой 
массив научных публикаций». И это лишь один из «многочисленных не- 
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достатков методов количественной оценки эффективности националь- 
ной науки»?, выявленных авторами. 

Тем не менее российские ученые нередко слышат обвинения в лукав- 
стве. Может быть, длинный перечень критических аргументов призван 
скрыть невостребованность научных результатов, недостаточное знание 
иностранных языков и нежелание соблюдать строгие требования к пу- 
бликациям? 

Частично ответ на этот и множество других вопросов современной 
библиометрии дает книга, предлагаемая вашему вниманию. По форме 
это сборник статей, по сути — учебник, который редакторы скомпоно- 
вали из наиболее значимых публикаций по заявленной теме за период 
с 1955 по 2014 г 

Это 1000-страничное издание объединило под одной обложкой 
55 публикаций, объединенных в 6 разделов. Редакторы — Б. Кронин 
и К. Сугимото — снабдили вступительной статьей каждый раздел, а всю 
книгу — прологом и эпилогом. Блейз Кронин — почетный профессор уни- 
верситета Индианы, главный редактор журнала, выпускаемого Амери- 
канским обществом информационной науки и технологии, автор более 
300 публикаций, известнейший специалист в сфере библиометрии и ки- 
берметрии. Кассиди Сугимото работает доцентом в том же университе- 
те — в школе информатики и компьютерной обработки данных. Ее перу 
принадлежит 50 публикаций в области наукометрии. 

Редакторы заявляют следующую цель своего труда: ознакомить чи- 
тателя с существующими ограничениями на использование библиоме- 
трических методов и призвать всех заинтересованных лиц с большим 
уважением и тщательностью относиться к методологическим основам 
их применения. И в этом цель редакторов совпадает с целью авторов пу- 
бликации «Стимулирование и результативность: управление научными 
организациями», рассмотренной в данном номере журнала. 

Книга состоит из 6 разделов: 

1. Концепции и теории. 

2. Вопросы применимости. 

3. Источники данных. 

4. Показатели. 

5. Научная политика. 

6. Системный эффект. 

За рамки разделов вынесена публикация Юджина Гарфилда, созда- 
теля Института научной информации (в настоящее время — подразде- 
ление ТВотзоп Кещегс). В 1955 г. эта работа открыла новые горизонты 
науковедения. Автор предложил использовать индексы цитирования 
для облегчения поиска информации по определенной тематике и для 
выбора наиболее значимых публикаций, оказавших влияние в конкрет- 
ной области знания. Через 10 лет он реализовал эту идею, опубликовав 
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бумажную версию Индекса научного цитирования в пяти томах, охва- 
тывающих 1,4 млн ссылок. И только спустя 40 лет после публикации 
развитие информационных технологий обеспечило полную реализацию 
идей Ю. Гарфилда. Знаменитая статья, опередившая свое время, завер- 
шается тезисом: индекс цитирования «может быть полезен во многих 
случаях, но не стоит ожидать, что он решит все проблемы» (с. 22). 

В последующих разделах книги с разных точек зрения показан истори- 
ческий путь превращения метода Гарфилда в глобальную систему оценки 
научной производительности. Десятилетиями эксперты совершенствова- 
ли способы измерения краткосрочных результатов научной деятельности 
в виде числа публикаций и долгосрочных - в виде основы для производ- 
ства нового знания. В данном издании под одной обложкой собраны тео- 
рии, критика, принципы и методы библиометрического анализа. 

Первая глава, посвященная библиометрическим концепциям и тео- 
риям, предваряется редакторской статьей «Увлечение или поклонение?» 
(авторы используют даже более жесткий термин для обозначения культа 
поклонения — «фетишизм»). В этом разделе собраны публикации разных 
лет, от теории цитирования до современной наукометрии на основе ана- 
лиза социальных сетей, так называемой Наукометрии 2.0. 

Вторая глава объединила в себе статьи, описывающие слабые места 
этих методов: цитирование без изучения первоисточника, принудитель- 
ное цитирование, особенности базы данных \!еБ оЁ Зс1епсе, проблемы 
учета цитируемости в анализе публикационной активности. 

В третьей главе рассмотрены недостатки источников информации 
для анализа. Редакторы подчеркивают, что на неполноценных данных 
нельзя строить полноценные научные выводы. В статьях раздела обсуж- 
даются такие проблемы, как непрозрачность данных, претенциозный от- 
бор журналов, представляющих узкий круг стран, языковые трудности. 

Четвертая глава посвящена обсуждению конкретных индикаторов: 
индекса Хирша, импакт-фактора журнала, рейтингов качества универ- 
ситетов. 

Пятая глава посвящена проблеме использования наукометрических 
показателей при выработке научной политики. В статьях показаны раз- 
личия между результатами исследований в государственном и частном 
секторах, в различных областях науки. Авторы предостерегают против 
использования элементарных моделей принятия решений на основе ана- 
лиза цитирований научных работ. 

Шестая глава повествует о системных последствиях применения би- 
блиометрических методов в целях оценки исследований. 

Все представленные материалы служат задаче, сформулированной 
редакторами в начале труда: создать единый ресурс, в котором нашли 
бы отражение теоретические, концептуальные, методологические и эти- 
ческие проблемы, связанные с быстро растущей совокупностью пока- 
зателей (ныне используемых, разрабатываемых или рассматриваемых 
в перспективе). 

У русскоязычного читателя найдет особый отклик очерк У. Гиббса 
«Потерянная наука третьего мира», поскольку проблемы, с которыми 


Наукометрия под микроскопом... 163 





сталкиваются авторы из Африки, Азии, Латинской Америки, знакомы 
и ему. Публикация начинается с истории мексиканского медицинско- 
го журнала, который выполнил все условия для включения в базу \о3 
и индексировался в ней на протяжении 11 лет. Однако стоило журна- 
лу задержать на полгода очередной выпуск, в связи с разразившимся 
в стране экономическим кризисом, как он был исключен из базы. На мо- 
мент написания статьи никакие усилия не помогли редколлегии вернуть 
утраченные позиции, хотя для этой цели они полностью отказались от 
испаноязычных статей в пользу англоязычных, наняли носителя языка 
для редактирования текстов, создали международный экспертный совет 
с участием 15 рецензентов из Америки и Европы и включили в состав 
редколлегии 13 наиболее цитируемых мексиканских специалистов в об- 
ласти биомедицины. При этом вновь созданные американские журналы 
попадали в индекс с выпуска первого номера. Предвзятое отношение 
испытывают на себе и отдельные исследователи. Работая в универси- 
тете Бонна, мексиканский ученый опубликовал две статьи в «Маге», 
но, вернувшись в Мексику, стал получать отказы от менее престижных 
изданий. 

А. Молини и Дж. Боденхаус представлены в сборнике публикацией 
«Библиометрия как оружие массового цитирования». Авторы призывают 
ученых всех стран и научных направлений объединиться против тира- 
нии библиометрии и вернуться к ценностям «реальной науки». На при- 
мерах из опыта изучения магнитного резонанса они демонстрируют, что 
большое число цитирований не связано с инновационностью или значи- 
мостью публикации. Столь же критично отзываются авторы о В-индексе, 
который «распространяется по миру быстрее вируса гриппа А (№М1Н1}». 
По мнению швейцарского физика Фредрика Меркта, судить о способно- 
стях ученого по индексу Хирша сродни выбору вина по цене бутылки, 
сыра — по размеру дырок, а шоколада — по содержанию сахара. С помо- 
щью конкретных количественных примеров авторы показывают, что по- 
гоня за высоким «Хиршем» вынуждает исследователей писать больше 
статей по модным проблемам, отнимая у самих себя время, необходимое 
для более эффективных исследований. «Безумие» импакт-фактора жур- 
налов заключается в том, что если вы публикуете интересное исследова- 
ние, ваши коллеги должны обнаружить публикацию, найти интересное 
применение вашим идеям, провести эксперименты, написать статью, 
обсудить ее с рецензентами и опубликовать в течение 12—24 месяцев. 
В противном случае статья не повлияет на импакт-фактор журнала. 
В результате редакторы оказывают большее влияние на выбор перспек- 
тивных направлений, чем финансирующие науку организации. 

Роджер Брумбэк, редактор журнала по детской неврологии, автор 
ряда статей по «публикационным войнам», также считает журнальный 
импакт-фактор наиболее пагубным показателем, который вынуждает 
редакторов и издателей менять редакционную политику в угоду циф- 
рам. «...Государственным органам внушили, что характеристики жур- 
нала, в котором публикуется статья, могут быть использованы как мера 
ценности отдельного исследователя (и организации)... предоставление 
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грантов на исследования, присуждение научных степеней и званий, уро- 
вень зарплат (включая премиальные выплаты) оказались привязанными 
не к важности или качеству рассматриваемого исследования, а к жур- 
нальным показателям, которыми можно манипулировать». Например, 
один из узкоспециализированных педиатрических журналов поднялся 
в рейтинге на 9 пунктов, напечатав статью, в которой были процитиро- 
ваны все 65 статей, опубликованные в данном журнале за год. 

Несмотря на двадцатилетнюю критику, вторит профессор биологии 
Стефен Керри из Имперского колледжа Лондона, этот показатель рас- 
пространяется как раковая опухоль, демонстрируя статистическую без- 
грамотность тех, кто пользуется этим показателем. 

Ив Гинграс, в частности, указывает на то, что в расчетах не учитыва- 
ется смещенность распределения относительно среднего значения, в то 
время как исследования показывают, что не более 15 % статей обеспечи- 
вают 50 % ссылок на журнал. 

В краткой рецензии на тысячестраничный манускрипт невозможно 
привести все авторские аргументы. Но можем привести основной вы- 
вод о системных эффектах: показатели формируются и формируют по- 
литические решения; они ориентируют научные организации на опреде- 
ленные направления, влияют на распределение ресурсов, стимулируют 
расслоение и конкуренцию среди ученых, поощряют политику краткос- 
рочных выгод и в результате оказывают влияние на этические принципы 
науки. 

Авторам сборника можно было бы предъявить претензию в тенден- 
циозном отборе материалов, если бы мы не понимали, какому давлению 
глобальной административной машины пытаются они сопротивляться. 
Впрочем, они и сами не забывают подчеркнуть значение накопленно- 
го наукометрического багажа, завершая сборник эпилогом-притчей 
о «младенце библиометрии», которого не стоит выплескивать с грязной 
водой. 
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